Xưa đây nguyên là phần đất thuộc nội thành của kinh thành Thăng Long cũ, thuộc địa phận của hai thôn Tả Biên Giám Thục Miến và Ngự Sử tổng Hữu Nghiêm, huyện Thọ Xương thời nhà Nguyễn. Đến giữa thế kỷ XIX, thôn Tả Biên Giám Thục Miến hợp nhất với thôn Thanh Ngô thành thôn Thanh Miến, và thôn Ngự Sử hợp nhất với thôn Lương Sừ thành thôn Lương Sử (sau đổi thành tổng Yên Hòa).

Cuối thế kỷ XVIII đến thời Vua Tự Đức thế kỷ XIX xung quanh Văn Miếu - Quốc Tử Giám có khá nhiều trường học. Sở dĩ khu vực này nhiều trường học vì Văn Miếu là nơi thờ Khổng Tử, còn Quốc Tử Giám, trường học lớn và uy tín bậc nhất thời đó, thường xuyên tổ chức các buổi bình văn, thuận tiện cho học trò đến nghe. Học trò các tỉnh về theo học rất đông, vì thế dân các làng: Ngự Sử, Lương Sừ (nay là Ngõ Lương Sử A, phố Quốc Tử Giám), Tả Biên Giám (nay thuộc phố Văn Miếu), làng Cổ Thành (nay là phố Phan Phù Tiên)… đã mở nhà trọ cho học trò thuê. Họ dựng các dãy nhà lá, chia thành từng gian nhỏ, mỗi dãy có vại nước mưa để uống và đun nước pha chè; tắm rửa thì khách trọ phải ra ao làng.

Những năm triều đình mở khoa thi thì sĩ tử thập phương đến trọ đông gấp bội. Có trò mang gạo củi tự nấu nướng (vì thế có câu "cơm niêu nước lọ"), trò con nhà khá giả thì ăn cơm hàng. Để phục vụ cho loại học trò này, các bà, các cô có nghề bán cơm ở làng Tương Mai đến Tả Biên Giám thuê nhà mở quán bán cơm nên dân Thăng Long gọi là phố Hàng Cơm (nay là đoạn cuối phố Văn Miếu tạo ngã ba với phố Quốc Tử Giám).

Khi Văn Miếu - Quốc Tử Giám là nơi nhốt người bị dịch hạch để cách ly vào đầu thế kỷ XX năm 1908, thì nơi đây trở nên vắng vẻ, sĩ tử sợ chuyển đi nơi khác trọ nên vùng này vắng người, vì thế các quán cơm cũng không có khách. Lâu dần đến khi tên con phố cũng bị thay đổi.

Có nhiều ảnh chụp của Tonkin - Hanoi cho thấy những năm đầu thế kỷ XX thì phố Văn Miếu đã là khu phố sầm uất có nhiều nhà cửa và quy hoạch một cách rõ ràng.

Trước khi thành Hà Nội bị thực dân Pháp chiếm đóng, con phố có tên là Phố Hàng Cơm.

Thời Pháp thuộc, tên là phố Rue Cao Đắc Minh.

Ngày 10 tháng 08 năm 1945, phố đổi tên thành phố Sỹ Nhiếp. Vào ngày 28 tháng 02 năm 1949, đổi tên là phố Văn Miếu cho đến nay.